Het huis heeft een rechte kroonlijst en hoekpilasters, een verhoging tegen de kap met vier lichten, zoals te zien is op de tekening van Casper Philips, die later verdwenen zijn. Er is een lage stoep, die loodrecht op de gevel en een toegang met omlijsting.

De deuromlijsting heeft sinds lang Ionische pilasters. Caspar Philips heeft ze niet ingetekend maar misschien waren ze er dan al wel.

Omstreeks 1810 is er een stoephek geplaatst in doolhof bewerking en een bovenraam met een sterachterraam.

Van 1830 tot 1882 is het huis van familie Bienfait. Ze zijn afstammelingen van de Hugenoten die uit Frankrijk waren verdreven en hun rijkdom hadden verworven in de negentiende-eeuwse suikerimport industrie, waarvoor ze hun eigen schepen gebruikten.

In 1899 wordt het huis aangekocht door de Vereniging voor Hoger Onderwijs op Gereformeerde grondslag. Tussen 1900 en 1901 huurt Abraham Kuiper[1837-1920] het huis. Hij is de stichter van de Nederlandse Antirevolutionaire Partij (ARP), de krant “de Standaard” en wordt in 1901 minister-president van Nederland, maar woont dan al in Den Haag. Hij is ook een prediker en leider van de orthodox-hervormde gemeenschap in Nederland.

In 1880 richt Kuiper de Vrije Universiteit (VU) op, de tweede universiteit in Amsterdam. Het was het gereformeerde antwoord aan de Universiteit van Amsterdam (UvA), in een tijd waarin elke religieus-sociale beweging zijn eigen instellingen had. De katholieken, de socialisten, de protestanten en de liberalen hadden allemaal hun eigen verenigingen, zendstations, woningcorporaties en scholen. Het oprichten van een hervormde universiteit was destijds een logische stap.

In 1889 koopt de VU universiteit dit pand aan, de aangrenzende gebouwen, nummers Keizersgracht 160 tot 166, die worden ook onderdeel van de universiteit. Er worden ook doorgangen gemaakt tussen de verschillende huizen. De 'Heerenkamer' (eerste deur links na de trap) is dan het zogenaamde 'zweetkamertje', de kamer waar de examens dan worden afgelegd. Over de gehele eerste verdieping zijn de collegezalen. De enorme bibliotheek bevind zich dan op de bovenste verdieping.

In de Tweede Wereldoorlog werd het huis gebruikt als een veilig huis. De twintig mensen, die om een aantal redenen door de nazi's werden gezocht, hebben de oorlog overleefd.

De familie Toren koopt het huis in 1968 aan voor het vestigen van een hotel. De deuren van het hotel zijn officieel geopend op 15 maart 1969. De totale renovatie duurde uiteindelijk drie jaar, wat resulteerde in 34 kamers en één ster.

In 2016 verkocht familie Toren het hotel aan de gloednieuwe keten The Pavilions Hotels & Resorts.